Захват движения

Запись данных о движении мимических мышц актёра

Захват движения (англ. motion capture) — метод анимации персонажей и объектов при помощи оцифровки движений реального объекта (прежде всего, человека) и последующего переноса их на трёхмерную модель.

Метод применяется в производстве компьютерной анимации, а также для создания визуальных эффектов в фильмах и ААА-играх. Широко используется в игровой индустрии. С использованием этого метода в 2004 году созданы мультфильмы «Полярный экспресс» (модель — Том Хэнкс), «Последняя фантазия» (в качестве моделей выступили добровольцы) и другие, также motion capture использовался при анимации сгенерированного компьютером Голлума — персонажа трилогии «Властелин колец» (модель — Энди Серкис). В 2006 году при помощи этой технологии был создан «Ренессанс», в 2007 году — «Беовульф», в 2009 году — «Рождественская история» и «Аватар». Эта технология также была использована для создания лиц Волан-де-Морта в фильмах «Гарри Поттер» (Рэйф Файнс) и Дейви Джонса в «Пиратах Карибского моря» (Билл Найи), а также при создании дракона Смауга в фильме «Хоббит: Пустошь Смауга» (актёр — Бенедикт Камбербэтч).

В марте 2007 года режиссёр Стивен Спилберг заявил об увеличении производства мультфильмов, созданных по технологии motion capture.

Существует мнение, что Американская киноакадемия отрицательно относится к созданию фильмов, полностью основанных на этой технологии, о чём говорят результаты отбора номинантов на премию «Оскар» в категории «Лучшие спецэффекты».

Существующие технологии

Пример использования маркерной системы mo-cap

Подготовка к съёмкам. На голову актрисы надет шлем с датчиком для захвата мимики

Существуют два основных вида систем motion capture:

1. Маркерная система motion capture, где используется специальное оборудование. На человека надевается костюм с датчиками, он производит движения, требуемые по сценарию, встаёт в условленные позы, имитирует действия; данные с датчиков фиксируются камерами и поступают в компьютер, где сводятся в единую трёхмерную модель, точно воспроизводящую движения актёра, на основе которой позже (или в режиме реального времени) создаётся анимация персонажа. Также этим методом воспроизводится мимика актёра (в этом случае на его лице располагаются маркеры, позволяющие фиксировать основные мимические движения).
2. Безмаркерная технология, не требующая специальных датчиков или специального костюма. Безмаркерная технология основана на технологиях компьютерного зрения и распознавания образов. Актёр может сниматься в обычной одежде, что сильно ускоряет подготовку к съёмкам и позволяет снимать сложные движения (борьба, падения, прыжки, и т. п.) без риска повреждения датчиков или маркеров. Несколько практически применимых безмаркерных систем были разработаны в последние годы, хотя исследования подобной технологии проводятся уже долгое время. На сегодняшний день существует программное обеспечение «настольного» класса для безмаркерного захвата движений. В данном случае не требуется специального оборудования, специального освещения и пространства. Съёмка производится с помощью обычной камеры (или веб-камеры) и персонального компьютера.

На сегодняшний день существуют большое количество маркерных систем захвата движений. Различие между ними заключается в принципе передачи движений:

1. Оптические системы

1.1 Оптические пассивные. На костюме, входящем в комплект такой системы, прикреплены датчики-маркеры, которые названы пассивными, потому что отражают только посланный на них свет, но сами не светятся. В таких системах свет (инфракрасный) на маркеры посылается с установленных на камерах высокочастотных стробоскопов и, отразившись от маркеров, попадает обратно в объектив камеры, сообщая тем самым позицию маркера.

Минус оптических пассивных систем:

• Длительность размещения маркеров на актёре.
• При быстром движении или близком расположении маркеров друг к другу система может их путать (технология не предусматривает идентификацию каждого маркера).

1.2 Оптические активные названы так потому, что вместо светоотражающих маркеров, которые крепятся к костюму актёра, в них используются светодиоды с интегрированными процессорами и радио-синхронизацией. Каждому светодиоду назначается идентификатор, что позволяет системе не путать маркеры друг с другом, а также узнавать их, после того как они были перекрыты и снова появились в поле зрения камер. Во всём остальном принцип работы таких систем схож с пассивными системами.

Минусы активных систем:

• Отсутствие возможности захвата движений и мимики лица.
• Дополнительный контроллер, крепящийся к актёру и подключенный к маркерам-светодиодам, сковывает его движения.
• Хрупкость и относительно высокая стоимость маркеров-светодиодов.

2. Магнитные системы, в которых маркерами являются магниты, а камерами — ресиверы, система высчитывает их позиции по искажениям магнитного потока.

Минусы магнитных систем:

• Магнитные системы подвержены магнитным и электрическим помехам от металлических предметов и окружения (электропроводки помещения, оргтехники, арматуры в плитах строения).
• Переменчивая чувствительность сенсоров в зависимости от их положения в рабочей зоне.
• Меньшая по сравнению с оптическими системами рабочая зона.
• Отсутствие возможности захвата движений и мимики лица.
• Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру.
• Высокая стоимость магнитных маркеров.

3. Механические системы напрямую следят за сгибами суставов, для этого на актёра надевается специальный механический mocap-скелет, который повторяет следом за ним все движения. В компьютер при этом передаются данные об углах сгибов всех суставов.

Минусы механических систем:

• Mocap-скелет с дополнительным контроллером, прикреплённым к актёру и подключенным к сенсорам сгибов (а в некоторых случаях — и провода, тянущиеся от скелета), сильно ограничивает движения актёра.
• Отсутствие возможности захвата:
  • Движений и мимики лица;
  • Движений тесного взаимодействия двух и более актёров (борьба, танцы с поддержками и т. д.);
  • Движений на полу — кувырки, падения и т. д.
• Риск поломки механики при неосторожном использовании.

4. Гироскопические / инерциальные системы для сбора информации о движении используют миниатюрные гироскопы и инерциальные сенсоры, расположенные на теле актёра — также как и маркеры или магниты в других mocap-системах. Данные с гироскопов и сенсоров передаются в компьютер, где происходит их обработка и запись. Система определяет не только положение сенсора, но также угол его наклона.

Минусы гироскопических / инерциальных систем:

• Отсутствие возможности захвата движений и мимики лица;
• Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру;
• Высокая стоимость гироскопов и инерциальных сенсоров;
• Для определения положения актёра в пространстве нужна дополнительная мини-система (оптическая или магнитная).

Преимущества и недостатки motion capture

С одной стороны, motion capture — альтернатива живой съёмке актёров, с другой — альтернатива ручной анимации трёхмерной модели. Ниже перечислены достоинства и недостатки mo-cap по сравнению с этими технологиями.

По сравнению с синим экраном

Преимущества motion capture

• Один актёр может играть много ролей.
• Живое видео на трёхмерном фоне может смотреться несколько чужеродно. Особенно это касается 3D, исполняемого в реальном времени, наподобие компьютерных игр.
• Возможно редактирование постфактум (изменение ракурсов, света, незначительное редактирование движений).
• Более широкие возможности костюма и грима.
• Возможность сочетания motion capture с ручной мультипликацией.
• Сцену можно показать с такого ракурса, который даже для павильонных съёмок может представлять сложность.
• В сценах с большим количеством компьютерных эффектов сложно совместить живых актёров с компьютерными персонажами.

Преимущества «синего экрана»

• Большинство разновидностей motion capture дорогостоящи.
• «Синий экран» можно сделать довольно больших размеров и вести на его фоне съёмку масштабных сцен, в то время как размер студии motion capture, как правило, ограничен.
• Фотореалистичного персонажа изобразить на компьютере сложнее, чем фотореалистичное окружение. Поэтому, начиная с некоторой планки производительности, явно «компьютерный» персонаж будет чужеродно смотреться на фоне, неотличимом от реального. В качестве примера можно привести серию игр Myst и фильм «Зловещая долина».

По сравнению с 3D-мультипликацией

Преимущества motion capture

• Уже через несколько минут после съёмки можно получить предварительный результат и понять, стоит ли переснимать/перекомпоновывать сцену.
• Реализм движений. Некоторые особенности движения людей, такие как перенос центра тяжести и амортизация после прыжка, трудоёмки в реализации.

Преимущества ручной мультипликации персонажей

• Большинство разновидностей motion capture дорогостоящие, компьютерная анимация дешевле.
• В motion capture движения персонажа ограничиваются законами физики.
• Если анимируемая модель имеет другие пропорции, нежели актёр, возможны проблемы. Например, у «толстого» мультяшного персонажа, который анимирован данными, снятыми даже с очень полного человека, руки могут «входить» в туловище.
• Не всегда реалистичные движения удаётся хорошо приспособить к компьютерной модели (даже имеющей обычные человеческие пропорции). Взаимодействие персонажа с крупными декорациями (например, герой подходит к двери и открывает её) в компьютерных играх часто передаётся нереалистично. Кроме того, часто в замысел режиссёра входит «гиперболизация» движений за счёт меньшего соответствия законам физики. Например, прежде чем прыгнуть, человек делает особый шаг с приседанием. В компьютерных играх этого шага зачастую нет, чтобы не было задержки между нажатием кнопки и прыжком.
• Трудности с ручным редактированием и «сшивкой» разных дублей mo-cap.
• Разнообразие. Нарисованные персонажи могут выполнять гораздо больше движений, которые люди повторить не могут.

В зависимости от ситуации, предпочтение может быть отдано в равной мере и той и другой технологии.

Применение

• Захват движения камеры для последующего совмещения отснятого видео с 3D-эффектами и персонажами.
• Захват движения или мимики актёра для переноса на 3D-персонажей, с последующей визуализацией этого персонажа либо непосредственно в 3D-среде, либо для сведения с видео.
• Захват движения используют для переноса сложных взаимодействий. Например, если трёхмерный персонаж для последующего монтажа на видео должен смахнуть со стола множество объектов и при этом ещё должен сломаться сам стол, то такое легче снять с захватом движения, чем создавать 3D-анимацию на компьютере.
• Для съемки актёров непосредственно на синем или зелёном фоне для последующей замены этого фона на 3D-сцену или нарисованный фотореалистичный фон.

Самым молодым актёром, снятым с использованием данной технологии, стал в 2008 году сын Тима Бёртона Билли (в ремейке «Франкенвини»).

В России технологию Motion Capture используют, например, телекомпания «Пилот ТВ» и студия «Анимаккорд». Технологии захвата движения компании Vicon были представлены на презентации в 2014 г. наголовного шлема Vicon Cara, организованной компанией SVGA (Россия, Москва).

См. также

• Ротоскопирование
• Видеоанализ
• Система отслеживания движений головы
• Хромакей
• Актография

Ссылки

• Motion Capture library
• Настольная безмаркерная технология motion capture
• Урок № 1 по Motion Capture
• Урок № 2 по Motion Capture
• Intertial Motion Capture
• Захват движения в фильме «Аватар»
• Захват движения в фильме «Я Робот»